HAM-RAG: Hierarchy-Aware Multimodal RAG for Structure-Faithful Interleaved Generation
层级感知多模态RAG：结构忠实的图文交错生成
🧭 层级感知多模态RAG
The Hong Kong University of Science and Technology (Guangzhou) · ASCETEX INTERNATIONAL LIMITED · MOVENSYS Inc. · Schneider Electric · Technical University of Munich
利用文档层级引导检索与生成，实现多模态RAG中的结构忠实与图文对齐，在多个基准上平均提升17.3%
📌 工作参考价值（4 点）
- 在电商详情页、说明书、SOP等多模态文档RAG中，优先保留文档层级（标题/章节/步骤）作为检索单元，而不是切割成扁平chunk；可将章节路径和父子关系编码进索引和prompt，提升证据选择的忠实度。
- 对于需要图文交错生成（如商品使用教程、维修指南）的场景，在prompt中保留局部文本-图像对及其在源文档中的位置，可显著减少图片放错和图文不匹配；考虑将图片与相邻文本绑定作为最小检索单元。
- 构建内部评测基准时，可借鉴HAM-Bench的分类覆盖（攻略/网页/论文/食谱），针对结构化多模态文档设计图文一致性、步骤顺序等指标，而非仅用文本相似度。
- 工程上，层次化RAG可以结合文档解析工具（如PDF结构抽取、DOM树）自动提取层级，再对同一层内的text和image做关联索引，生成时用层级路径作为约束。